Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts
循环 MoE 超越两轮的可扩展训练方案
🧭 循环 MoE 深度扩展与训练稳定化 ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Peng Cheng Laboratory · University of Chinese Academy of Sciences · The Hong Kong Polytechnic University · University of Surrey
LOOM 用残差缩放、输入重注入、逐循环路由与 Looping Residual 让 MoE LLM 稳定循环 9-12 轮并优于基线
📌 工作参考价值（4 点）
- 在生成式推荐或 Query 生成中若采用 Looped LLM / 共享层 MoE，可复用 γ=λ/(H√M) 的残差缩放和逐轮输入重注入，防止多轮迭代后表示漂移与训练发散，尤其适合反复生成候选 query 或语义 ID。
- 在 FLOPs 受限的在线推理中，建议共享专家但为每轮循环配置独立 router：只增加少量路由参数，就能避免专家选择坍缩，让每轮实际激活不同 expert，提升循环计算收益。
- Looping Residual 以固定衰减 EMA 仅存一个累加张量就能保留跨循环历史，适合在低延迟排序/召回中叠加多轮细化信号，显存开销可忽略。
- 训练深层循环模型时采用分段反向传播（每 K=3 循环为一段、段间 detach），峰值显存几乎不随循环数增长，训练更快更稳，值得 GPU/NPU 受限的业务复现。